Matched-Context Group Policy Optimization for LLM Agent Training
匹配上下文分组策略优化用于 LLM Agent 训练
🧭 LLM Agent 强化学习 · 长程信用分配 ★ 深度解读
Imperial College London · University of Science and Technology of China · Meituan · Tsinghua University
通过匹配任务进度与状态构造加权动作偏好，提升长程 LLM agent 稀疏回报下的信用分配
📌 工作参考价值（4 点）
- 利用任务规则提取可观测的 rubric progress（如已匹配属性、价格满足、页面状态）作为状态补充，与 state summary 联合定义动作比较上下文，避免因进度差异导致信用错配；在电商导购 Agent 中可借鉴：用已完成步骤（搜索、详情、加购）标注状态，减少不同会话阶段的错误对比。
- 从有限日志或 rollout 数据构造动作偏好时，采用 opposite-fold 交叉标注：一半数据提取候选动作，另一半估计结果证据，降低自相关偏差；适用于从历史会话日志生成离线策略优化信号。
- 根据支持样本数动态缩减偏好权重（n/(n+κ)），防止小样本高方差偏好主导训练；在业务中构造 session-level 偏好对时，可对低支持度的对比自动降权，提高训练稳定性。
- 无需 critic 模型，只附加一个 weighted pairwise objective 即可接入现有 PPO/GRPO 流程，保留原始历史上下文；便于在已有 Agent 训练框架上增量实施。